Amazon Bedrock がクロスリージョン推論（モデル実行）をサポートしました

1.35.7
======

+ * api-change:``bedrock``: [``botocore``] Amazon Bedrock SDK updates for Inference Profile.
+ * api-change:``bedrock-runtime``: [``botocore``] Amazon Bedrock SDK updates for Inference Profile.
* api-change:``chatbot``: [``botocore``] Update documentation to be consistent with the API docs
* api-change:``omics``: [``botocore``] Adds data provenance to import jobs from read sets and references
* api-change:``polly``: [``botocore``] Amazon Polly adds 2 new voices: Jitka (cs-CZ) and Sabrina (de-CH).

import boto3

region_name = "us-east-1"
bedrock_runtime = boto3.client("bedrock-runtime", region_name=region_name)

system_prompt = "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
input_message = "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"
+ modelId = "us.anthropic.claude-3-5-sonnet-20240620-v1:0"
- modelId = "anthropic.claude-3-5-sonnet-20240620-v1:0"

response = bedrock_runtime.converse(
    modelId=modelId,
    system=[{"text": system_prompt}],
    messages=[{
        "role": "user",
        "content": [{"text": input_message}]
    }]
)

print(response["output"]["message"]["content"][0]["text"])

(app-py3.12) takakuni@ app % python converse.py
S3、EBS、EFSはAWSの主要なストレージサービスですが、それぞれ異なる用途と特徴があります。

1. Amazon S3 (Simple Storage Service):
   - オブジェクトストレージ
   - 高い耐久性と可用性
   - ウェブからアクセス可能
   - 大容量データの長期保存に適する
   - データバックアップ、静的ウェブサイトホスティングなどに利用

2. Amazon EBS (Elastic Block Store):
   - ブロックレベルのストレージ
   - EC2インスタンスにアタッチして使用
   - 高性能で低レイテンシー
   - データベースやファイルシステムなど、頻繁に更新されるデータに適する
   - スナップショット機能でバックアップが容易

3. Amazon EFS (Elastic File System):
   - フルマネージドのNFSファイルシステム
   - 複数のEC2インスタンスから同時にアクセス可能
   - 自動的にスケーリング
   - 共有ファイルストレージが必要なアプリケーションに適する
   - コンテンツ管理、ウェブサービング、データ分析などに利用

これらのサービスは、それぞれの特性に応じて適切なユースケースで使用することが重要です。

import boto3

region_name = "us-east-1"
bedrock_runtime = boto3.client("bedrock-runtime", region_name=region_name)

system_prompt = "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
input_message = "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"
- modelId = "anthropic.claude-3-5-sonnet-20240620-v1:0"
+ modelId = "us.anthropic.claude-3-5-sonnet-20240620-v1:0"

streaming_response = bedrock_runtime.converse_stream(
    modelId=modelId,
    system=[{"text": system_prompt}],
    messages=[{
        "role": "user",
        "content": [{"text": input_message}]
    }]
)

for chunk in streaming_response["stream"]:
        if "contentBlockDelta" in chunk:
            text = chunk["contentBlockDelta"]["delta"]["text"]
            print(text, end="")

import boto3

region_name = "us-east-1"
bedrock_runtime = boto3.client("bedrock-runtime", region_name=region_name)

system_prompt = "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
input_message = "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"

modelId = ("Foundation Model", "anthropic.claude-3-5-sonnet-20240620-v1:0")
inferenceProfileId = ("Inference Profile", "us.anthropic.claude-3-sonnet-20240229-v1:0")

for inference_type, id in [modelId, inferenceProfileId]:
    response = bedrock_runtime.converse(
        modelId=id,
        system=[{"text": system_prompt}],
        messages=[{
            "role": "user",
            "content": [{"text": input_message}]
        }]
    )
    latency_seconds = response['metrics']['latencyMs'] / 1000
    print(f"::{inference_type}::Response time: {latency_seconds:.2f} second(s)")
    print(f"::{inference_type}::Response output: {response['output']['message']['content'][0]['text']}")

{
	"schemaType": "ModelInvocationLog",
	"schemaVersion": "1.0",
	"timestamp": "2024-08-31T07:36:29Z",
	"accountId": "123456789012",
	"identity": {
		"arn": "arn:aws:sts::123456789012:assumed-role/takakuni/botocore-session-1725087142"
	},
	"region": "us-east-1",
	"requestId": "bcde8c84-5d18-4016-ad13-36f5b3811e83",
	"operation": "Converse",
	"modelId": "us.anthropic.claude-3-sonnet-20240229-v1:0",
	"input": {
		"inputContentType": "application/json",
		"inputBodyJson": {
			"messages": [
				{
					"role": "user",
					"content": [
						{
							"text": "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"
						}
					]
				}
			],
			"system": [
				{
					"text": "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
				}
			]
		},
		"inputTokenCount": 65
	},
	"output": {
		"outputContentType": "application/json",
		"outputBodyJson": {
			"output": {
				"message": {
					"role": "assistant",
					"content": [
						{
							"text": "S3、EBS、EFSはAmazon Web Servicesが提供するストレージサービスですが、その用途と性質は異なります。\n\n**S3 (Simple Storage Service)**\n- オブジェクトストレージサービス\n- ファイルやデータを保存するための高度に耐障害性と耐久性のあるオブジェクトストレージ\n- インターネットからどこからでもアクセス可能\n- スケーラブルで低コストなデータストレージ\n- 主にスタティックコンテンツ、バックアップデータ、ビッグデータ分析などに使用\n\n**EBS (Elastic Block Store)**\n- ブロックレベルのストレージボリューム\n- EC2インスタンスに永続的なデータストレージを提供\n- デフォルトでは高度にレプリケーションされ、耐久性が高い\n- EC2インスタンスがシャットダウンしても、データは消えない\n- データベース、アプリケーションなど、頻繁な読み書きが必要なワークロードに最適化\n\n**EFS (Elastic File System)**\n- 完全にマネージド型のファイルストレージサービス\n- NFSバージョン4に準拠した共有ファイルシステム\n- 複数のEC2インスタンス間でデータを共有できる\n- ファイルデータはAWSデータセンター内にレプリケーションされ、堅牢性が高い\n- ビッグデータ分析、メディア処理、コンテンツ管理などに活用\n\n要約すると、S3はオブジェクトストレージ、EBSはEC2インスタンスにアタッチするブロックレベルストレージ、EFSは複数EC2インスタンス間で共有できるファイルシステムです。用途に合わせて適切なストレージサービスを選択する必要があります。"
						}
					]
				}
			},
			"stopReason": "end_turn",
			"metrics": {
				"latencyMs": 11759
			},
			"usage": {
				"inputTokens": 65,
				"outputTokens": 560,
				"totalTokens": 625
			}
		},
		"outputTokenCount": 560
	},
+	"inferenceRegion": "us-west-2"
}

import boto3

region_name = "eu-west-3"
bedrock_runtime = boto3.client("bedrock-runtime", region_name=region_name)

system_prompt = "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
input_message = "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"
# modelId = "anthropic.claude-3-5-sonnet-20240620-v1:0"
modelId = "eu.anthropic.claude-3-5-sonnet-20240620-v1:0"

response = bedrock_runtime.converse(
    modelId=modelId,
    system=[{"text": system_prompt}],
    messages=[{
        "role": "user",
        "content": [{"text": input_message}]
    }]
)

print(response["output"]["message"]["content"][0]["text"])

(app-py3.12) takakuni@ app % python invoke_mode_from_paris.py
S3、EBS、EFSはAWSのストレージサービスですが、それぞれ異なる用途と特徴があります。

1. S3 (Simple Storage Service):
- オブジェクトストレージ
- 高い耐久性と可用性
- インターネットからアクセス可能
- 大容量データの保存に適している
- 静的ウェブサイトのホスティングが可能

2. EBS (Elastic Block Store):
- ブロックストレージ
- EC2インスタンスに直接アタッチ
- 高速な読み書きが可能
- データベースやファイルシステムに適している
- スナップショット機能あり

3. EFS (Elastic File System):
- ファイルストレージ
- 複数のEC2インスタンスから同時にアクセス可能
- 自動でスケーリング
- Linux用のNFSファイルシステム
- 共有ファイルシステムに適している

{
	"schemaType": "ModelInvocationLog",
	"schemaVersion": "1.0",
	"timestamp": "2024-09-01T05:46:20Z",
	"accountId": "123456789012",
	"identity": {
		"arn": "arn:aws:sts::123456789012:assumed-role/takakuni/botocore-session-1725169573"
	},
	"region": "eu-west-3",
	"requestId": "07785801-6f1a-4553-bd06-edccea61e20c",
	"operation": "Converse",
	"modelId": "eu.anthropic.claude-3-5-sonnet-20240620-v1:0",
	"input": {
		"inputContentType": "application/json",
		"inputBodyJson": {
			"messages": [
				{
					"role": "user",
					"content": [
						{
							"text": "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"
						}
					]
				}
			],
			"system": [
				{
					"text": "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
				}
			]
		},
		"inputTokenCount": 65
	},
	"output": {
		"outputContentType": "application/json",
		"outputBodyJson": {
			"output": {
				"message": {
					"role": "assistant",
					"content": [
						{
							"text": "S3、EBS、EFSはそれぞれAWSのストレージサービスですが、用途や特徴が異なります。以下に主な違いを説明します：\n\n1. Amazon S3 (Simple Storage Service)\n- オブジェクトストレージ\n- 無制限の拡張性\n- HTTPSを介してアクセス\n- データの長期保存に適している\n- 静的ウェブサイトホスティングが可能\n\n2. Amazon EBS (Elastic Block Store)\n- ブロックストレージ\n- EC2インスタンスにアタッチして使用\n- 1つのEBSボリュームは1つのEC2インスタンスにのみアタッチ可能\n- 高速なI/O性能が必要なアプリケーションに適している\n\n3. Amazon EFS (Elastic File System)\n- ファイルストレージ\n- 複数のEC2インスタンスから同時にアクセス可能\n- 自動的に拡張・縮小する\n- 共有ファイルシステムが必要なアプリケーションに適している\n\nこれらのサービスは、それぞれの特性に応じて適切なユースケースで使用されます。"
						}
					]
				}
			},
			"stopReason": "end_turn",
			"metrics": {
				"latencyMs": 5995
			},
			"usage": {
				"inputTokens": 65,
				"outputTokens": 344,
				"totalTokens": 409
			}
		},
		"outputTokenCount": 344
	},
	"inferenceRegion": "eu-central-1"
}

import boto3

region_name = "eu-west-3"
bedrock_runtime = boto3.client("bedrock-runtime", region_name=region_name)

system_prompt = "あなたは AWS サービスの専門家であり、常に正確で簡潔な回答を提供します。"
input_message = "S3、EBS、EFS の違いを教えてください。日本語で回答してください。"
+ modelId = "anthropic.claude-3-5-sonnet-20240620-v1:0"
- modelId = "eu.anthropic.claude-3-5-sonnet-20240620-v1:0"

response = bedrock_runtime.converse(
    modelId=modelId,
    system=[{"text": system_prompt}],
    messages=[{
        "role": "user",
        "content": [{"text": input_message}]
    }]
)

print(response["output"]["message"]["content"][0]["text"])

(app-py3.12) takakuni@ app % python invoke_mode_from_paris.py
Traceback (most recent call last):
  File "/Users/takakuni/Documents/genai-blog/bedrock_cross_region_inference/app/invoke_mode_from_paris.py", line 11, in <module>
    response = bedrock_runtime.converse(
               ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/takakuni/Documents/genai-blog/bedrock_cross_region_inference/app/.venv/lib/python3.12/site-packages/botocore/client.py", line 569, in _api_call
    return self._make_api_call(operation_name, kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/takakuni/Documents/genai-blog/bedrock_cross_region_inference/app/.venv/lib/python3.12/site-packages/botocore/client.py", line 1023, in _make_api_call
    raise error_class(parsed_response, operation_name)
botocore.errorfactory.ValidationException: An error occurred (ValidationException) when calling the Converse operation: The provided model doesn't support on-demand throughput.